Theo Sử ký, Tư Mã Nhương Thư vốn họ Điền - vương thất xa của các quân vương Tề. Lúc bấy giờ, Tề là một nước yếu, các nước Tấn và Yên khởi binh lần lượt xâm phạm 2 đất A Chân và Hà Thượng. Nhìn nhận được tài năng và đức độ phi thường của ông, thừa tướng nhà Tề là Án Anh đã tiến cử ông với vua Tề Cảnh Công, Án Anh thưa rằng:

"Người này về mặt văn có thể làm cho dân chúng theo mình, về mặt võ có thể làm cho quân địch sợ uy"[1].

Ông được vua Tề phong làm tướng quân. Trong quá trình cải tổ quân đội, vua Tề theo ý ông phong Trang Giả làm giám quân, Tư Mã Nhương Thư hẹn Trang Giả phải đến quân doanh đúng giờ nhưng vì Trang Giả vốn là người kiêu ngạo, không phục Nhương Thư nên đến muộn. Vì thế Trang Giả bị Nhương Thư chém đầu, nêu gương cho ba quân. Vua Tề Cảnh Công cho người cầm cờ tiết đến tha cho Giả. Nhương Thư liền nói:

"Quân sĩ đã ở trong quân ngũ thì có lúc không cần nghe lệnh của vua."

Sứ giả phi ngựa, cầm cờ tiết vào quân doanh, lại phạm vào quân luật không được phi ngựa trong quân doanh. Vì thế, Tư Mã Nhương Thư chém ngựa và phá xe sứ giả vào, đuổi sứ giả trở về. Ông là người đối đãi quân sĩ hết sức tốt đẹp, tử tế. Những lúc hành quân, ông thân hành thăm hỏi, vỗ về họ., thậm chí còn mang hết tiền lương, bổng lộc của mình để chia cho sĩ tốt, cùng hưởng lương thực như họ, luôn nhiệt tình giúp đỡ họ lúc ốm đau mệt mỏi. Nhờ thế, uy tín của ông trong doanh rất lớn. Điều này vô tình lại là một mối đe dọa với uy danh của Tề Công.

Quân Tấn, Yên khi nghe quân Tề sĩ khí rất thịnh thì liền bãi binh. Nhương Thư dẫn quân thu hồi lại tất cả đất đai bị chiếm về với Tề, giúp cho sức mạnh của nước Tề hay Khương Tề (vì lúc này các vua nước Tề đều mang họ Khương và họ đều là con cháu của Khương Thái Công) thêm phần củng cố. Sau đó ông được Tề Cảnh Công phong chức Tư mã, từ đó, gia tộc ông cải sang họ Tư Mã. Nắm được tính đa nghi của vua Tề, các đại phu Bào thị (鲍), Cao thị (高) và Quốc thị (国) liền dèm pha, nói xấu ông trước Tề Công, nên ông bị vua ghét bỏ, ít lâu sau, ông lâm bệnh nặng và qua đời.